大模型競技場規則更新，GPT-4o mini排名立刻雪崩，跌出前10。

新榜單對AI回答的長度和風格等特徵做了降權處理，確保分數反映模型真正解決問題的能力。

想用漂亮的格式、增加小標題數量等技巧討好使用者、刷榜，現在統統沒用了。

在新規則下，奧特曼的GPT-4o mini、馬斯克的Grok-2系列排名顯著下降，GoogleGemini-1.5-flash小模型也有所回落。

Claude系列、Llama-3.1-405b大模型分數則紛紛上漲。

只計算困難任務（Hard Prompt）的情況下，大模型在風格控制榜單中的優勢更加明顯。

此前GPT-4o mini小模型一度登頂，與GPT-4o滿血版並列第一，與網友的體感明顯不符。

Lmsys大模型競技場這個一度被Karpathy推薦的評價標準，口碑也跌落到“只能反映使用者喜好而不是模型能力了”。

Lmsys組織痛定思痛，先是公開了GPT-4o mini參與的1000場battle資料，從而分析出模型拒絕回答率、生成內容長度、和格式排版是影響投票結果的幾個因素。

而且奧特曼還在GPT-4o mini發佈之前，暗示了正是按照人類偏好做最佳化的。

現在，Lmsys進一步推出了控制這些因素的新演算法，而且還只是規劃中的第一步。

假設有模型A擅長生成程式碼、事實和無偏見的答案等，但它的輸出非常簡潔。

模型B在實質內容（例如正確性）上不是很好，但它輸出的內容長而詳細、格式排版華麗。

答案不是唯一的，Lmsys嘗試用數學方法找出一個模型的得分有多少是內容或風格貢獻的。

此外，最近也已經有研究表明，人類對排版漂亮和更詳細的AI回答可能存在偏好性。

通過在Bradley-Terry回歸中新增樣式特徵，如響應長度、markdown小標題的數量、列表和加粗文字數量作為自變數。

這是統計學中的一種常用技術，最近被AlpacaEval LC等用於大模型評估。

在回歸中包含任何混雜變數（例如回答長度），可以將分數的增加歸因於混雜變數，而不是模型能力本身。

相關程式碼已在Google Colab上公開。

此外團隊還對“只控制長度”和“只控制格式”做了消融實驗。GPT-4o mini、GoogleGemini系列分數受格式影響更大。

不過這種做法也存在侷限性，比如可能存在未觀察到的混雜因素，例如長度和回答質量之間的正相關，這些因素沒有被考慮在內（例如思維鏈提示）。

有不少網友表示，調整後的困難任務榜單與自己的主觀印象更吻合了。

也有人覺得，正是榜單和沖榜的大模型公司這種來回博弈，才能讓整個領域一起進步。

你還在參考大模型競技場結果選擇模型嗎？或者有什麼更好的評估方法，歡迎在評論區分享。 (量子位)

GPT-4o mini深夜忽然上線，OpenAI終於開卷小模型！每百萬輸入token已達15美分的超低價，跟GPT-3相比，兩年內模型成本已降低99%。Sam Altman驚呼：通往智能的成本，已變得如此低廉！另外，清華同濟校友為關鍵負責人。

就在今天深夜，GPT-3.5退場，全新發佈的GPT-4o mini，更小、性能更強，更重要的是——更便宜！

每百萬個輸入token 15美分，每百萬個輸出token 60美分，MMLU得分82%，性能超快。

CEO Sam Altman感慨道：通往智能的成本，竟是如此低廉。

是的，如火如荼的大模型價格戰，OpenAI也入場了。

Altman回顧說：就在2022年，世界上最好的模型是還是text-davinci-003（GPT-3的版本）。

但如今，與這個新模型相比，text-davinci-003差得太多太多。甚至，價格要高出100倍。

相較於GPT-3.5，GPT-4o mini性能更強，價格還要便宜60%以上，成本直線下降。

大模型的成本，兩年間下降了99%，等再過幾年呢？簡直不敢想。

以前，用OpenAI模型建構應用程式可能會產生巨額費用，沒有能力對其修改的開發者，極有可能放棄它，轉投更便宜的模型，比如Google的Gemini 1.5 Flash或者Anthropic的Claude 3 Haiku。

如今OpenAI終於等不住，出手了。

現在，所有人都可以在ChatGPT中用上GPT-4o mini了。

GPT-4o mini的知識更新到去年10月，語言種類和GPT-4o對齊，上下文窗口為128k。

目前在API中僅支援文字和視覺模態，未來還將擴展到視訊和音訊的輸入/輸出。

雖然沒有披露參數規模，但OpenAI的官博文章表示，這是他們目前最經濟、最有成本效益的小模型，微調功能也將很快上線。

神奇的是，GPT-4o mini在LMSYS排行榜上聊天偏好方面的表現甚至優於GPT-4。在總榜上，排名可以和GPT-4 Turbo匹敵。

上週模型還沒發佈，就已經有超過6000名使用者投票給早期版本「upcoming-gpt-mini」，但目前該模型的結果已經被撤下。

LMSYS在推特上宣佈，正在重新收集投票，很快就會發佈正式版模型的成績。

GPT0-4o mini的發佈，顯然將大幅擴展AI應用的範圍。

它不僅低成本、低延遲，還支援廣泛的任務，比如鏈式或平行呼叫多個模型的應用（呼叫多個 API），向模型傳遞大量上下文（完整程式碼庫或對話歷史），或通過快速、即時的文字響應與客戶互動（支援聊天機器人）。

並且，由於與GPT-4o共享改進的分詞器（tokenizer），它處理起非英語文字會更加經濟高效。

目前，GPT-4o mini在API中支援文字和視覺，未來還將支援多模態功能，包括文字、圖像、視訊和音訊的輸入和輸出。

聽起來，它像是功能更強大的虛擬助理，比如瞭解我們的旅行行程並給出建議。

文字、數學、編碼、多模態，效果拔群

在文字智能和多模態推理方面，GPT-4o mini已經超越了GPT-3.5 Turbo和其他小模型，GPT-4o支援的語言它也都支援。

長上下文處理性能上，它比起GPT-3.5 Turbo也有所改進。

在函數呼叫上，GPT-4o mini同樣表現出色，因此開發者可以更方便地建構應用。

看一下GPT-4o mini的關鍵基準測試成績。

文字和視覺推理任務上，GPT-4o優於其他小模型。

在MMLU上，它的得分為82.0%，而Gemini Flash為77.9%，Claude Haiku為73.8%。

在數學推理和編碼任務中，GPT-4o同樣表現出色，優於市場上的小模型。

在MGSM上，在MGSM上，GPT-4o mini得分為87.0%，而Gemini Flash為75.5%，Claude Haiku為71.7%。

在HumanEval上，GPT-4o mini得分為87.2%，而Gemini Flash為71.5%，Claude Haiku為75.9%。

GPT-4o mini在MMMU上也表現強勁，得分為59.4%，而Gemini Flash為56.1%，Claude Haiku為 50.2%。

實測表明，無論是從收據檔案中提取結構化資料，還是根據郵件執行緒生成高品質回覆，GPT-4o mini在這類任務上的表現都明顯比GPT-3.5 Turbo更好。

這也印證了業界一直在討論的觀點：模型的大小，並不重要。

在性價比方面，Artificial Analysis已經為我們整理出了詳細的分析。

GPT-4o mini的定價為：輸入每1M token 15美分，輸出每1M token 60美分。

1M token什麼概念？大致相當於2500頁書。

這個價格已經捲到了頭部模型的最低檔，僅次於Llama 3 8B。

從下表中可以看到，在目前頭部廠商發佈的所有小模型中，GPT-4o mini超越Gemini 1.5 Flash、Llama 3 8B、Mistral 7B等眾多競品，成為性價比之最。

越靠近左上的模型，性價比越高

不僅是性價比最好，GPT-4o mini在輸出的速度和質量上也實現了目前SOTA水平的最佳化權衡，甚至比GPT-4o更佳。

將質量和生成速度分開來看，效果依舊能打。

Artificial Analysis上的質量指數代表Chatbot、MMLU和MT-Bench等基準的歸一化平均性能。

GPT-4o mini得分為85，和Gemini 1.5 Flash、Llama 3 70B基本處於同一水平，勝過Mixtral系列的8×22B和8×7B型號。

MMLU的得分也基本與質量指數一致，但比較亮眼的是在HumanEval編碼任務上的評分。

87.2分的成績，超過了Google系最強模型Gemini 1.5 Pro！

推理效率方面，183 token/s的生成讓GPT-4o mini成為這個榜單上的絕對王者，相比第二名Gemini 1.5 Flash還要快18 token/s。

#GPT-4o mini 你可以在這裡找到鉅亨號中所有使用「GPT-4o mini」為關鍵字所發布的內容